通过定向消息传递通过方向消息通过的图形神经网络最近在多个分子特性预测任务上设置了最先进的技术。然而，它们依赖于通常不可用的原子位置信息，并获得它通常非常昂贵甚至不可能。在本文中，我们提出了合成坐标，使得能够使用高级GNN而不需要真正的分子配置。我们提出了两个距离作为合成坐标：使用个性化PageRank的对称变体指定分子配置的粗糙范围和基于图的距离的距离界限。为了利用距离和角度信息，我们提出了一种将正常图形神经网络转换为定向MPNN的方法。我们表明，通过这种转变，我们可以将正常图形神经网络的误差减少55％在锌基准。我们还通过在SMP和DimeNet ++模型中纳入合成坐标，在锌和自由QM9上设定了最新技术。我们的实现可在线获取。

The one-inclusion graph algorithm of Haussler, Littlestone, and Warmuth achieves an optimal in-expectation risk bound in the standard PAC classification setup. In one of the first COLT open problems, Warmuth conjectured that this prediction strategy always implies an optimal high probability bound on the risk, and hence is also an optimal PAC algorithm. We refute this conjecture in the strongest sense: for any practically interesting Vapnik-Chervonenkis class, we provide an in-expectation optimal one-inclusion graph algorithm whose high probability risk bound cannot go beyond that implied by Markov's inequality. Our construction of these poorly performing one-inclusion graph algorithms uses Varshamov-Tenengolts error correcting codes. Our negative result has several implications. First, it shows that the same poor high-probability performance is inherited by several recent prediction strategies based on generalizations of the one-inclusion graph algorithm. Second, our analysis shows yet another statistical problem that enjoys an estimator that is provably optimal in expectation via a leave-one-out argument, but fails in the high-probability regime. This discrepancy occurs despite the boundedness of the binary loss for which arguments based on concentration inequalities often provide sharp high probability risk bounds.

Most existing Spiking Neural Network (SNN) works state that SNNs may utilize temporal information dynamics of spikes. However, an explicit analysis of temporal information dynamics is still missing. In this paper, we ask several important questions for providing a fundamental understanding of SNNs: What are temporal information dynamics inside SNNs? How can we measure the temporal information dynamics? How do the temporal information dynamics affect the overall learning performance? To answer these questions, we estimate the Fisher Information of the weights to measure the distribution of temporal information during training in an empirical manner. Surprisingly, as training goes on, Fisher information starts to concentrate in the early timesteps. After training, we observe that information becomes highly concentrated in earlier few timesteps, a phenomenon we refer to as temporal information concentration. We observe that the temporal information concentration phenomenon is a common learning feature of SNNs by conducting extensive experiments on various configurations such as architecture, dataset, optimization strategy, time constant, and timesteps. Furthermore, to reveal how temporal information concentration affects the performance of SNNs, we design a loss function to change the trend of temporal information. We find that temporal information concentration is crucial to building a robust SNN but has little effect on classification accuracy. Finally, we propose an efficient iterative pruning method based on our observation on temporal information concentration. Code is available at https://github.com/Intelligent-Computing-Lab-Yale/Exploring-Temporal-Information-Dynamics-in-Spiking-Neural-Networks.

Approximately 1.25 million people in the United States are treated each year for burn injuries. Precise burn injury classification is an important aspect of the medical AI field. In this work, we propose an explainable human-in-the-loop framework for improving burn ultrasound classification models. Our framework leverages an explanation system based on the LIME classification explainer to corroborate and integrate a burn expert's knowledge -- suggesting new features and ensuring the validity of the model. Using this framework, we discover that B-mode ultrasound classifiers can be enhanced by supplying textural features. More specifically, we confirm that texture features based on the Gray Level Co-occurance Matrix (GLCM) of ultrasound frames can increase the accuracy of transfer learned burn depth classifiers. We test our hypothesis on real data from porcine subjects. We show improvements in the accuracy of burn depth classification -- from ~88% to ~94% -- once modified according to our framework.

深度学习模型已经实现了令人印象深刻的预测表现，但经常牺牲可解释性，这是医疗保健或决策等高风险领域的批判性考虑。相比之下，广义添加剂模型（GAM）可以保持可解释性，但由于无法有效捕获特征相互作用，因此通常会遭受预测性能差。在这项工作中，我们旨在通过使用预训练的神经语言模型来弥合这一差距，以在学习嵌入空间中的线性模型之前为每个输入提取嵌入。最终模型（我们称之为Emb-GAM）是其输入功能和特征交互的透明的线性函数。利用语言模型允许Emb-Gam学习更少的线性系数，建模较大的交互作用，并可以很好地推广到新颖的输入（例如，文本中的看不见的Ngrams）。在各种自然语言处理数据集中，Emb-Gam在不牺牲可解释性的情况下实现了强大的预测性能。所有代码均可在GitHub上提供。

标准卷积神经网络（CNN）的卷积层与翻译一样。然而，卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近，提出了一类新的CNN，其中CNN的常规层被均衡卷积，合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换（例如旋转，反射和翻译）是不变的，并且标量值是通过消除过滤器响应的空间尺寸，使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中，我们建议整合正交力矩，该矩将功能的高阶统计数据作为编码全局不变性在旋转，反射和翻译中的有效手段。结果，网络的中间层变得模棱两可，而分类层变得不变。出于这个目的，考虑使用最广泛使用的Zernike，伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN（G-CNN）的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。

非参考语音质量模型对于越来越多的应用程序很重要。 VoiceMos 2022挑战提供了一个带有主观标签的合成语音转换和文本到语音样本的数据集。这项研究着眼于在元数据的主观语音质量和数据集的分布不平衡的主观评级中可以解释的差异。使用WAV2VEC 2.0构建语音质量模型，具有其他元数据功能，其中包括评估者组和系统标识符，并获得了竞争性指标，包括Spearman等级相关系数（SRCC）为0.934，MSE为0.088，在系统级别和0.877和0.198和0.198和0.198的MSE和0.198话语级别。使用数据限制或盲目的数据和元数据进一步改善了指标。元数据分析表明，由于验证和测试数据集中每个系统使用的话语数量的广泛变化，系统级指标并不代表模型的系统级预测。我们得出的结论是，通常，条件在测试集中应具有足够的话语以绑定样本平均误差，并且在系统之间的话语计数中相对平衡，否则话语级别的指标可能更可靠和可解释。

围绕深度学习算法的长期挑战是解开和了解它们如何做出决定。可解释的人工智能（XAI）提供了方法，以解释算法的内部功能及其决策背后的原因，这些方式以人类用户的解释和可理解的方式提供了解释。 。到目前为止，已经开发了许多XAI方法，并且对这些策略进行比较分析似乎是为了辨别它们与临床预测模型的相关性。为此，我们首先实施了两个使用结构化表格和时间序列生理数据的创伤性脑损伤（TBI）（TBI）的预测模型。使用六种不同的解释技术来描述本地和全球水平的预测模型。然后，我们对每种策略的优点和缺点进行了批判性分析，突出了对使用这些方法感兴趣的研究人员的影响。根据几种XAI特征，例如可理解性，忠诚度和稳定性，将实施的方法相互比较。我们的发现表明，Shap是最稳定的，其保真度最高，但缺乏可理解性。另一方面，锚是最可理解的方法，但仅适用于表格数据而不是时间序列数据。

从视频中估算心率可以通过患者护理，人类互动和运动中的应用进行非接触健康监测。现有的工作可以通过面部跟踪在一定程度的运动下稳健地测量心率。但是，在不受约束的设置中，这并不总是可以的，因为脸部可能会被遮住甚至在相机外面。在这里，我们介绍Intensephysio：具有挑战性的视频心率估计数据集，具有逼真的面部阻塞，严重的主题运动和充足的心率变化。为了确保在现实环境中的心率变化，我们记录每个主题约1-2小时。该受试者正在用附着的摄像机进行骑自行车计（以中等强度）锻炼（中度至高强度），没有关于定位或运动的指示。我们有11个主题，大约有20个小时的视频。我们表明，现有的远程照相拍摄方法在这种情况下估计心率很难。此外，我们提出了IBIS-CNN，这是一种使用时空超级像素的新基线，它通过消除了对可见面/面部跟踪的需求来改善现有模型。我们将尽快公开提供代码和数据。

随着需要大量数据和计算的大数据工作负载的日益增长的复杂性，数据中心每天都会消耗大量功率。为了最大程度地减少数据中心功耗，几项研究开发了功率模型，可用于调度工作，以减少主动服务器的数量或在其峰值能效点上跨服务器平衡工作负载。由于软件和硬件异质性的增加，我们观察到没有单个功率模型可适用于所有服务器条件。一些复杂的机器学习模型本身会产生性能和电源开销，因此不希望经常使用它们。没有电源模型考虑容器化工作负载执行。在本文中，我们提出了一个混合服务器电源模型Hydra，该模型考虑了预测准确性和性能开销。 Hydra动态选择给定服务器条件的最佳功率模型。与最先进的解决方案相比，Hydra在异质服务器上的所有计算强度级别上的表现都优于所有计算机。